跳到主要内容

MUSA SDK v4.3.5 发布版本信息

下载链接​

发布说明​

MUSA SDK v4.3.5正式发布，新增字节专用MUSA SDK版本

具体支持平台以及对应项目详情请参阅测试报告。

测试平台​

CPUOS内核版本测试环境mtbios项目
Intel(R) Xeon(R) Gold 6430Alibaba Cloud Linux 35.10.134-13.al8.x86_64Intel+Alinux host+Ubuntu Docker+S50004.3.27ZJ KUAE
INTEL(R) XEON(R) GOLD 6530openEuler 22.03 (LTS-SP4)5.10.0-216.0.0.115.oe2203sp4.x86_64intel+openEuler +Ubuntu Docker+S50004.3.36美团
Intel(R) Xeon(R) Gold 6430Debian GNU/Linux 125.15.120.ve.3u1-amd64Intel+Debian+debian docker+S50004.3.38字节
Intel(R) Xeon(R) Gold 6430TencentOS Server 4.46.6.92-34.1.tl4.x86_64Intel+Tencent+S50004.3.28腾讯
Hygon C86-4GUbuntu 22.04.4 LTS5.15.0-105-genericHygon4+Ubuntu24.04+S50004.3.27昌平实验室
AMD EPYC 9T34 64-CoreUbuntu 22.04.4 LTS5.15.0-105-genericAMD+ubuntu22.04+S50004.3.27发改委
Hygon C86-4GKylin Linux Advanced Server V10 (GFB)4.19.90-52.23.v2207.gfb08.ky10.x86_64Hygon4+Kylin V10 +S50004.3.29智能院
Hygon C86-4GKylin Linux Advanced Server V11 (Swan25)6.6.0-32.7.v2505.ky11.x86_64Hygon4+Kylin V11+S50004.3.29招商银行
Intel(R) Xeon(R) Gold 6430VesselOS 1.0 SP15.10.0-136.13.2.89.vo1sp1.x86_64Intel + VesselOS + S50004.3.27京东

产品说明​

摩尔线程 MUSA SDK 是一套完整的 GPU 并行计算开发环境，专为利用摩尔线程 GPU 加速程序而设计。通过 MUSA SDK，您能够轻松地利用 GPU 加速各种应用，涵盖企业数据中心、桌面、工作站以及云平台和超级计算机等多个领域。该套件包括了 GPU 加速库、调试和优化工具、C/C++编译器以及用于应用程序部署的运行时库等功能。作为一套完整的开发工具，MUSA SDK 包含了以下主要组件：

  • MUSA Toolkits，包含底层编译器、MUSA 运行时库、Musify 工具以及MUSA-X 基础数学计算加速库
  • muDNN，MT GPU 深度学习加速库
  • MCCL，MT GPU 通信加速库
  • MUSA SDK 依赖于摩尔线程 GPU 和摩尔线程 GPU 通用驱动程序
  • MT GPU：MTT S5000, MTT S4000，MTT S3000，MTT S80, MTT X300 等
  • 通用驱动软件

功能描述​

  • 支持 SIMT 架构并行编程模型
  • 提供 mcc 编译器工具链
  • MUSA 驱动与运行时库
  • 摩尔线程 MUSA 数学库 (muBLAS, muFFT, muPP, muRAND)
  • MCCL 通信库 (支持多 GPU 和多节点通信，优化 PCIe 和 MTLink 互联)
  • muDNN 深度学习加速库

主要更新​

功能更新（Feature Updates）​

算子与性能优化 (Operator & Performance)​

  • masked_fill 算子优化：针对 masked_fill 算子进行了性能优化，提升了执行效率。(Issue ID: SW-70668)
  • SGL 性能修复与配置更新：
    • 修复了 SGL 性能下降的问题。
    • 重要提示：为了确保性能修复生效，请务必在 decoding 启动脚本中添加以下环境变量配置： 
      export MUSA_DEVICE_PAGE_SIZE=0x1000

模型与框架支持 (Model & Framework Support)​

  • 智源项目 (Qwen3-8B-VL) 支持：针对智源项目的 Qwen3-8B-VL 模型，FlashAttention (fa varlen) 新增了对 head dim 72 反向传播 (backward pass) 的支持。(Issue ID: SW-70273)

特定客户/场景更新 (Customer Specific Updates - ByteDance Only)​

  • 功耗管理 (Idle Power)：针对字节跳动环境，默认开启空闲功耗管理 (Idle power enabled by default)。
  • 发布包下载：
    • ByteDance 专用版本下载链接请访问：MOSS管理控制台。
  • Triton 算子性能测试：
    • 如需进行 Triton 算子性能测试 (OP perf test)，请务必安装以下指定版本的 Triton： http://sw-release.sh-moss.mthreads.com:80/musa/external/4.3.5/bytedance_only/triton-3.1.0-cp310-cp310-linux_x86_64.byteperf.whl
    • 关于 OP 性能测试的 muDNN 及 Mate 版本详情，请联系 @Jun Ma(SW)。

通用配置变更指南 (General Configuration Guide)​

Idle Power 配置说明 (General Users)​

注意：对于非 ByteDance 的通用环境，本版本中 Idle Power 功能默认关闭 (Disabled by default)。如需开启或关闭该功能，请严格按照以下步骤操作。

前置操作：配置文件备份 Musa SDK Release 4.3.5 驱动安装过程默认会删除历史 /etc/modprobe.d/mtgpu.conf 文件。如需保留该文件，请在安装前备份：

cp /etc/modprobe.d/mtgpu.conf /etc/modprobe.d/mtgpu.conf.bak

安装完成后，可根据需要还原历史配置。

如何开启 Idle Power

  1. 修改配置文件：编辑 /etc/modprobe.d/mtgpu.conf，将参数修改为： dgpu_enable_rpm=1
  2. 生效更改：
    • apt/dpkg 安装方式：执行 sudo update-initramfs -u -k all，然后重启系统。
    • rpm 安装方式：执行 sudo dracut -f，然后重启系统。

如何关闭 Idle Power

  1. 修改配置文件：编辑 /etc/modprobe.d/mtgpu.conf，将参数修改为： dgpu_enable_rpm=0
  2. 生效更改：
    • apt/dpkg 安装方式：执行 sudo update-initramfs -u -k all，然后重启系统。
    • rpm 安装方式：执行 sudo dracut -f，然后重启系统。

已修复问题 (Fixed Issues)​

关键修复 (Critical Fixes)​

  • SGL perf decreasing fixed：(同 Feature Updates) 修复性能下降问题，需添加环境变量 export MUSA_DEVICE_PAGE_SIZE=0x1000。
  • SW-71566：【发改委/招商银行】修复 vllm tp8 运行时报 fw 错误。
  • SW-71531：【ZJ KUAE/字节】修复 musa_cts [hipHostRegister] 用例失败并导致 Aborted (core dumped)。
  • SW-71529：【京东】修复 Idle Power 关闭状态下执行 musaInfo 导致机器重启。

稳定性与系统 (Stability & System)​

  • SW-71376：【字节】修复 P12 状态下执行一键收集日志脚本导致无法恢复到 P12 的问题。
  • SW-71308：【字节/发改委】修复 P12 状态下 cat /sys/kernel/debug/musa/version 导致 crash/killed 及 dmesg 报错。
  • SW-71208：修复 Ubuntu x86_64 环境运行 muInfo 导致机器 Crash 的必现问题。
  • SW-71206：【字节】修复 P12 状态下收集日志 dmesg 出现 mtgpu error。
  • SW-71155：【字节】修复 Idle Power 长稳测试中同时查询 GMI 导致 hang 住及 fw reboot。
  • SW-71169：【发改委】修复 musaInfo 执行失败报错。
  • SW-70895：【字节】修复 musaInfo 唤醒到 P0 后无法回到 P12。
  • SW-70071：【发改委】修复 P12 状态执行 musaInfo 机器重启。
  • SW-70902：【字节】修复 P12 状态下 GPU 利用率显示 NA。
  • SW-71062：【字节/发改委】修复 Idle Power 开启后 DCGM 无法显示 GMI 数据。

性能与库 (Performance & Libraries)​

  • SW-71448：MCCL 显存使用优化。
  • SW-71461：【京东】修复 mccl_cts 单机测试 ace_perf 用例失败。
  • SW-71195：【ZJ KUAE】修复 sglang 2P4D 性能下降。
  • SW-71064：【字节】修复多个推理模型（bert/resnet50等）报 mtgpu_impl_datacast MUDNN failed。
  • SW-71013：【ZJ KUAE】修复 sglang 2P4D 测试 OOM 问题。
  • SW-70946：修复 vllm tp8 性能下降 (>5%) 及 vllm_perf 耗时增加。
  • SW-70842：修复 mccl 用例失败并 hang 住的问题。
  • SW-70826：修复 bert, llama3 8b 性能下降。
  • SW-66486：【ZJ KUAE】修复 ds moe32b 八机训练 collective operation timeout。
  • SW-66256：【ZJ KUAE】修复 mudnn 压测 case conv2d_bwd_filter_pro4_cycle2 失败。
  • SW-71301：【ZJ KUAE/招商银行】修复 musa_cts 相关内存拷贝用例失败。

已知问题 (Known Issues)​

库与计算 (Libraries & Compute)​

  • SW-71756：【腾讯】mccl 单机出现 [broadcast] 用例失败。
  • SW-71586：【腾讯】mudnn 出现 [test_sort_by_key], [test_concat] 用例失败。
  • SW-70508：【招商银行】Triton CTS test_matmul_dot_ph1 超时报错。
  • SW-70237：【发改委】murand 偶现 [generate_longlong_test] 失败。
  • SW-70231：【发改委】muBLASLt one_handle_test ssyrk 多线程测试计算失败。
  • SW-69860：muDNN 部分用例超时，怀疑有 reg spill。
  • SW-69556：【智能院】mccl_cts 抓取火焰图耗时较长。
  • SW-69107：[SGL] Triton 不支持链式布尔操作 (A or B or C)。
  • SW-68317：【发改委】mccl_cts 双机测试出现 AXI error。
  • SW-67916：muDNN benchmark mha 用例过重。
  • SW-67675：【发改委】musolver 出现 [getrf_getri] 用例失败。
  • SW-67598：【发改委】musa 出现 [DMA_muMemcpyHtoD] 用例失败。
  • SW-67296：【ZJ KUAE】mccl_cts graph 用例执行超时。
  • SW-66705：【sglang】开启 EPLB 后跨节点 isend/irecv 报错。
  • SW-66304：【发改委】muBLAS 3个 API 计算错误。
  • SW-65661：【alinux】multi dev 测试集 P2P 用例失败。
  • SW-65622：CPU device 上的 torch.empty 80G 出现 OOM。
  • SW-65146：murand_cts 用例 [murand_poisson_philox4x32_10_test] 失败。
  • SW-61111：murand [poisson_kernel_test] 失败。
  • SW-62696：偶现 test_llama_ut[ggml_CPY] 因精度问题导致的 fail。

驱动与测试 (Driver & CTS)​

  • SW-71847：【腾讯】musa_cts 出现失败用例 [stream3Streams]。
  • SW-71660：【招商银行】跑 cts 时报 fw 错误。
  • SW-71645：【腾讯】musa_cts 概率性出现 [rt_DirectAccessDeadLock] 失败。
  • SW-71373：【发改委】musa_cts 执行过程中日志报错。
  • SW-71263：【ZJ KUAE】更换驱动版本时 /etc/modprobe.d/mtgpu.conf 存在追加写情况。
  • SW-70753：【智能院】MTT 报错 dmabuf not supported。
  • SW-70428：musa_benchmark 测试概率出现 broken。
  • SW-67295：MTT online benchmark server crash。
  • SW-67072：Llama3 8B 单机存在约 3% 的性能下降 (Perf drop)。

兼容环境​

详细兼容列表及内核版本请参阅《MUSA Release 4.3.5 Test Report》。

产品组件说明​

包名称版本
mccl_rc2.1.5.PH1.tar.gz2.1.5
mt-peermem_1.3_amd64.deb1.3
mudnn_rc3.1.5.PH1.tar.gz3.1.5
musa_3.3.5-server_amd64.deb3.3.5
musa_toolkits_rc4.3.5.tar.gz4.3.5
triton310_rc1.4.5_py310.tar.gz1.4.5
triton310_rc1.4.5_py311.tar.gz1.4.5

版权所有 2024 摩尔线程，本文档受国际版权法保护。

摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。

免责声明

本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可，并未以明示或暗示，或以禁止反言或其他方式授予任何知识产权许可。